home *** CD-ROM | disk | FTP | other *** search
/ Personal Computer World 2009 February / PCWFEB09.iso / Software / Linux / Kubuntu 8.10 / kubuntu-8.10-desktop-i386.iso / casper / filesystem.squashfs / usr / share / apt-xapian-index / plugins / translated-desc.pyc (.txt) < prev   
Python Compiled Bytecode  |  2008-10-29  |  6KB  |  143 lines
  1. # Source Generated with Decompyle++
  2. # File: in.pyc (Python 2.5)
  3.  
  4. import apt
  5. import xapian
  6. import re
  7. import os
  8. import os.path as os
  9. import urllib
  10. from debian_bundle import deb822
  11. APTLISTDIR = '/var/lib/apt/lists'
  12.  
  13. def translationFiles():
  14.     tfile = re.compile('_i18n_Translation-([^-]+)$')
  15.     for f in os.listdir(APTLISTDIR):
  16.         mo = tfile.search(f)
  17.         if not mo:
  18.             continue
  19.         
  20.         yield (urllib.unquote(mo.group(1)), os.path.join(APTLISTDIR, f))
  21.     
  22.  
  23.  
  24. class Indexer:
  25.     
  26.     def __init__(self, lang, file):
  27.         self.lang = lang
  28.         self.xlang = lang.split('_')[0]
  29.         self.indexer = xapian.TermGenerator()
  30.         
  31.         try:
  32.             self.stemmer = xapian.Stem(self.xlang)
  33.             self.indexer.set_stemmer(self.stemmer)
  34.         except xapian.InvalidArgumentError:
  35.             pass
  36.  
  37.         self.descs = dict()
  38.         desckey = 'Description-' + self.lang
  39.         for pkg in deb822.Deb822.iter_paragraphs(open(file)):
  40.             if desckey in pkg:
  41.                 self.descs[pkg['Package']] = pkg[desckey]
  42.                 continue
  43.         
  44.  
  45.     
  46.     def index(self, document):
  47.         name = document.get_data()
  48.         self.indexer.set_document(document)
  49.         self.indexer.index_text_without_positions(self.descs.get(name, ''))
  50.  
  51.  
  52.  
  53. class TranslatedDescriptions:
  54.     
  55.     def info(self):
  56.         '''
  57.         Return general information about the plugin.
  58.  
  59.         The information returned is a dict with various keywords:
  60.          
  61.          timestamp (required)
  62.            the last modified timestamp of this data source.  This will be used
  63.            to see if we need to update the database or not.  A timestamp of 0
  64.            means that this data source is either missing or always up to date.
  65.          values (optional)
  66.            an array of dicts { name: name, desc: description }, one for every
  67.            numeric value indexed by this data source.
  68.  
  69.         Note that this method can be called before init.  The idea is that, if
  70.         the timestamp shows that this plugin is currently not needed, then the
  71.         long initialisation can just be skipped.
  72.         '''
  73.         maxts = []([] + [ os.path.getmtime(f) for l, f in translationFiles() ])
  74.         return dict(timestamp = maxts)
  75.  
  76.     
  77.     def init(self, info, progress):
  78.         '''
  79.         If needed, perform long initialisation tasks here.
  80.  
  81.         info is a dictionary with useful information.  Currently it contains
  82.         the following values:
  83.  
  84.           "values": a dict mapping index mnemonics to index numbers
  85.  
  86.         The progress indicator can be used to report progress.
  87.         '''
  88.         self.indexers = []
  89.         for lang, file in translationFiles():
  90.             progress.begin('Reading %s translations from %s' % (lang, file))
  91.             self.indexers.append(Indexer(lang, file))
  92.             progress.end()
  93.         
  94.  
  95.     
  96.     def doc(self):
  97.         '''
  98.         Return documentation information for this data source.
  99.  
  100.         The documentation information is a dictionary with these keys:
  101.           name: the name for this data source
  102.           shortDesc: a short description
  103.           fullDoc: the full description as a chapter in ReST format
  104.         '''
  105.         return dict(name = 'Translated package descriptions', shortDesc = "terms extracted from the translated package descriptions using Xapian's TermGenerator", fullDoc = "\n            The TranslatedDescriptions data source reads translated description\n            files from %s, then uses Xapian's TermGenerator to tokenise and\n            index their content.\n\n            Currently this creates normal terms as well as stemmed terms\n            prefixed with ``Z``.\n            " % APTLISTDIR)
  106.  
  107.     
  108.     def index(self, document, pkg):
  109.         '''
  110.         Update the document with the information from this data source.
  111.  
  112.         document  is the document to update
  113.         pkg       is the python-apt Package object for this package
  114.         '''
  115.         for i in self.indexers:
  116.             i.index(document)
  117.         
  118.  
  119.     
  120.     def indexDeb822(self, document, pkg):
  121.         '''
  122.         Update the document with the information from this data source.
  123.  
  124.         This is alternative to index, and it is used when indexing with package
  125.         data taken from a custom Packages file.
  126.  
  127.         document  is the document to update
  128.         pkg       is the Deb822 object for this package
  129.         '''
  130.         for i in self.indexers:
  131.             i.index(document)
  132.         
  133.  
  134.  
  135.  
  136. def init():
  137.     '''
  138.     Create and return the plugin object.
  139.     '''
  140.     files = [ f for l, f in translationFiles() ]
  141.     return TranslatedDescriptions()
  142.  
  143.